前言:為什麼 p 值不顯著也沒關係?

前導研究 (Pilot Study)小樣本 (Small N) 的情況下,統計檢定力 (Power) 通常不足,導致 p 值常徘徊在 0.05 ~ 0.15 之間,甚至更高。這不代表沒有效果,而是代表我們需要用不同的角度來看數據。

本報告採用三種進階視角,幫助您評估效果的真實性與潛力:

  1. 估計統計圖 (Gardner-Altman Plot):直接看「差異的分佈」,而不只是 p 值。
  2. 貝氏因子 (Bayes Factor):用證據強度說話(資料支持有效果的倍率)。
  3. 森林圖 (Forest Plot):看每位受試者的效果方向是否一致。

1. 效果量估計 (Gardner-Altman Plot)

此圖表由 dabestr 套件生成。 * 左側:原始數據點與平均值。 * 右側:兩組之間的 平均差 (Mean Difference) 及其 95% Bootstrap 信賴區間。 * 解讀重點:如果右側的黑色區間 大部分位於 0 線上方,即使 p 值不顯著,也強烈暗示效果存在且方向穩定。

1b. 行為資料快速視覺化(整體)

說明:本段為離線可開啟之互動式圖表(Plotly)。

1c. 檢定力與樣本數估計 (Power / Sample Size)

本節將前導研究中「受試者內差值」(例如 Incongruent − Congruent)轉為 GPower 可用的配對效應量 dz,並以配對樣本 t* 檢定之近似公式估計達到目標 power 所需的受試者數 N(pairs)


2. 貝氏因子分析 (Bayesian Analysis)

我們使用 Bayes Factor (BF10) 來量化證據強度。 BF10 代表「H1 (有效果) 模型解釋資料的能力是 H0 (沒效果) 的幾倍」。

解讀: 若 BF10 在 1~3 之間,代表雖然支持有效果,但證據還不夠強(資料量不足),這正是 Pilot Study 常見的情況,建議增加樣本數。


3. 個體效應森林圖 (Forest Plot)

檢視每一位受試者的一致性效應 (CE = Inc - Con)。 * :該受試者的 CE 值。 * :該受試者的試驗內變異 (SE)。 * 虛線:0 (無效應)。

如果大多數點都落在 0 的右側(正值),代表效果具有 普遍性 (Generality),並非由少數極端值驅動。


總結建議

根據上述三項指標:

  1. Gardner-Altman 圖 是否顯示大多數差值分佈在 0 以上?
  2. 貝氏因子 是否大於 1(甚至大於 3)?
  3. 森林圖 是否顯示多數受試者的一致性效應為正值?

若三者皆傾向支持,即使目前 p 值僅有 0.1,您也有充分理由宣稱:「本前導研究觀察到穩定的效果趨勢,值得擴大樣本數進行正式實驗。」